LLM应用全流程开发课件

Appearance

微调基础与技术方案 ​

mermaid
graph TD
    subgraph "大模型微调原理"
    A[预训练模型] --> B{微调类型选择}
    B -->|全量微调| C[更新所有参数]
    B -->|参数高效微调| D[仅更新部分参数]
    
    C --> E[领域特定模型]
    D --> E
    
    F[领域数据集] --> C
    F --> D
    
    classDef process fill:#FFD700,stroke:#333,stroke-width:1px;
    classDef data fill:#90EE90,stroke:#333,stroke-width:1px;
    classDef decision fill:#87CEFA,stroke:#333,stroke-width:1px;
    classDef result fill:#FFA07A,stroke:#333,stroke-width:1px;
    
    class A,C,D process;
    class F data;
    class B decision;
    class E result;
    end

微调方式对比概览 ​

微调方式参数更新范围资源需求性能适用场景主要优势主要劣势
全量微调所有参数极高最佳资源充足且追求最佳性能性能最优、灵活性高资源消耗大、易过拟合
LoRA低秩矩阵旁路低很好大多数实际应用性能接近全量微调、资源需求低超参数选择复杂
P-Tuning仅前缀向量极低中等简单任务或极度受限硬件极其参数高效复杂任务表现有限
QLoRA量化模型+低秩旁路极低很好消费级硬件微调能在普通GPU上微调大模型量化引入轻微噪声

大模型（如DeepSeek）虽然通用性强，但在特定领域应用时，通过微调可以使其更贴合业务需求。本节将介绍大模型微调的基本概念、常见方法及其优缺点。

什么是微调(Fine-tuning) ​

微调是指在预训练大模型的基础上，使用特定领域的数据进一步训练，使模型更好地适应特定任务或领域的过程。

微调与预训练的关系 ​

  • 预训练(Pre-training)：模型在大规模通用数据上学习语言知识的过程
  • 微调(Fine-tuning)：在预训练基础上，针对特定任务或领域进行小规模训练

为什么需要微调 ​

  1. 领域适应：使模型更好地理解特定领域的术语和知识
  2. 任务优化：提高模型在特定任务上的表现
  3. 减少幻觉：降低模型在专业领域的错误率
  4. 个性化：根据具体业务需求定制模型行为
  5. 降低成本：减少提示词工程的复杂度，提高模型响应效率

微调适用场景 ​

  • 垂直领域应用：法律、医疗、金融等专业领域
  • 特定风格生成：客服对话、内容创作特定风格
  • 企业知识库：基于企业特有知识进行回答
  • 多语言场景：加强对小语种或特定方言的支持
  • 特定任务优化：摘要生成、信息提取、代码生成等

微调的技术方案 ​

大型语言模型(LLM)的微调方法主要有全量微调和参数高效微调两大类。

1. 全量微调(Full Fine-tuning) ​

所有模型参数都参与更新的微调方式。

  • 优点：

    • 性能最优：理论上可以达到最佳效果
    • 灵活性高：可以对模型行为进行全面调整

  • 缺点：

    • 计算资源需求极高：需要强大的GPU/TPU
    • 存储需求大：需要存储完整模型参数
    • 容易过拟合：当微调数据量小时风险更高

  • 适用场景：

    • 拥有足够计算资源
    • 有大量高质量的领域数据
    • 需要全面改变模型行为
python
# 全量微调伪代码示例
from transformers import AutoModelForCausalLM, AutoTokenizer, Trainer, TrainingArguments

# 加载预训练模型
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/deepseek-llm-7b-base")
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-llm-7b-base")

# 准备训练参数
training_args = TrainingArguments(
    output_dir="./results",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=8,
    num_train_epochs=3,
    save_steps=500,
    logging_steps=100,
    learning_rate=2e-5,
    warmup_steps=100,
    fp16=True,
)

# 创建Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,  # 事先准备好的训练数据集
    tokenizer=tokenizer,
)

# 开始微调
trainer.train()

# 保存微调后的模型
model.save_pretrained("./deepseek-finetuned")
tokenizer.save_pretrained("./deepseek-finetuned")

2. 参数高效微调(PEFT, Parameter-Efficient Fine-Tuning) ​

只训练部分参数或引入少量新参数的微调方式，大幅节省计算资源。

a. LoRA (Low-Rank Adaptation) ​

通过低秩矩阵分解的方式在原有权重旁增加可训练的旁路权重。

mermaid
graph LR
    subgraph "LoRA结构示意图"
    Input[输入] --> Original[原始权重矩阵 W]
    Input --> LoRA[LoRA旁路]
    LoRA --> DownProj[降维矩阵 A]
    DownProj --> UpProj[升维矩阵 B]
    UpProj --> Scale[缩放 α/r]
    Original --> Add((+))
    Scale --> Add
    Add --> Output[输出]
    
    classDef frozen fill:#D3D3D3,stroke:#333,stroke-width:1px;
    classDef trainable fill:#90EE90,stroke:#333,stroke-width:1px;
    classDef operation fill:#FFD700,stroke:#333,stroke-width:1px;
    
    class Original frozen;
    class DownProj,UpProj,Scale trainable;
    class Add operation;
    end

  • 优点：

    • 显存需求小：只需训练很小一部分参数
    • 性能接近全量微调：在许多任务上表现良好
    • 可组合性：可以训练多个LoRA适配器并按需组合

  • 缺点：

    • 参数选择较复杂：秩(rank)等超参需要调整
    • 并非适用所有任务：某些复杂任务效果可能不如全量微调

  • 核心参数：

    • r: 秩参数，控制增加参数的数量
    • alpha: 缩放参数，影响LoRA的强度
    • dropout: 防止过拟合的dropout率
    • target_modules: 选择应用LoRA的层

b. P-Tuning / Prefix-Tuning ​

mermaid
graph TD
  A1[输入文本<br>（用户输入）] --> B1[↓ 添加前缀向量]
  B1 --> C1[前缀向量<br>（可训练） + 输入Embedding]
  C1 --> D1[送入Transformer模型]
  D1 --> E1[注意力机制中<br>插入前缀作为Key/Value]
  E1 --> F1[输出结果<br>带有任务特化能力]

  subgraph 可学习前缀部分
    B1
    C1
    E1
  end

  style B1 fill:#ffd6a5,stroke:#333,stroke-width:1px
  style E1 fill:#caffbf,stroke:#333,stroke-width:1px

在模型输入序列前添加可训练的连续向量（称为前缀），称为P-Tuning。

  • 优点：

    • 非常参数高效：只需训练前缀部分参数
    • 模型原始权重完全冻结：减少过拟合风险

  • 缺点：

    • 表现可能不如LoRA：对复杂任务支持较弱
    • 前缀长度需要调整：影响效果和训练成本

c. Adapter Tuning ​

在模型层之间插入小型可训练模块（适配器）。

  • 优点：

    • 模块化设计：可以根据任务选择性插入
    • 结构简单：容易实现和理解

  • 缺点：

    • 推理延迟略高：因为增加了额外的计算层
    • 结构更改较大：对某些模型架构可能需要特别适配

d. QLoRA (Quantized LoRA) ​

量化预训练模型后再应用LoRA微调，进一步降低内存需求。

  • 优点：

    • 极低显存需求：可在消费级显卡上微调大模型
    • 保持较高性能：量化后性能损失小

  • 缺点：

    • 量化引入噪声：可能导致某些性能损失
    • 推理还原需要考虑：如果需要合并权重，需处理量化问题

微调资源需求参考 ​

下面以DeepSeek-7B模型为例，列出不同微调方法的资源需求：

微调方法GPU显存需求训练参数比例推荐GPU训练速度
全量微调40GB+100%A100-80G慢
LoRA14-20GB~0.1-1%RTX 4090中等
P-Tuning10-15GB~0.01%RTX 3090中等
QLoRA8-15GB~0.1-1%RTX 3080较慢

DeepSeek模型微调最佳实践 ​

基于最新的研究和实践经验，以下是针对DeepSeek模型的微调参数推荐：

特定场景参数调整建议 ​

  1. 领域专业任务（如医疗、法律文本）：

    • 增大 r=16，提升模型在专业领域的表达能力
    • 增加目标模块：target_modules=["q_proj", "k_proj", "v_proj", "o_proj"]
    • 减小学习率至 1e-4，避免过拟合

  2. 多轮对话或指令跟随：

    • 保持 r=8 但增加 lora_alpha=32
    • 使用 gradient_checkpointing=True 节省显存
    • 对于高质量数据集，可减少训练轮数至 1-2 轮

  3. 低资源场景（如消费级GPU）：

    • 使用 QLoRA，量化基模型为4位精度
    • 设置 r=4 和 lora_alpha=8
    • 增大 gradient_accumulation_steps=16 补偿小批量大小

实际经验与最佳实践 ​

  1. 从LoRA开始：大多数场景下，LoRA是资源需求和效果的最佳平衡点

  2. 超参数调优关键：

    • LoRA的r值：通常8-16效果较好，更大的r提升可能不明显
    • 学习率：PEFT方法通常可以使用更高的学习率(1e-4到5e-4)
    • 目标模块：注意力相关层(q_proj, k_proj, v_proj, o_proj)效果通常最佳

  3. 避免过拟合：

    • 在小数据集上使用更小的r值和更强的正则化
    • 早停法(Early Stopping)对防止过拟合很有效
    • 适当的数据增强可以提高模型泛化能力

  4. 资源受限情况：

    • 量化是关键：QLoRA可以在消费级显卡上微调大模型
    • 梯度累积：通过增加梯度累积步数减少GPU显存需求
    • 梯度检查点：以计算时间换取显存空间